光流模块基于数字图像处理技术,能够获取无人机的相对位移数据,也就是当前帧相对上一帧的位移,但该位移数据的单位是像素(简称像素位移),同一像素位移在不同的高度对应着不同的物理位移,实际的物理位移与像素位移和无人机高度的乘积成正比 ,所以使用光流模块时,通常还需要一个测距模块。 市面上有很多光流测距一体模块,如某宝的凌启科技开发的双目测距及光流一体模块LQ-S01,该算法基于双目视觉,不但能输出光流X、Y及距离H数据,还能测得无人机的旋转角度R,旋转角度与地磁计融合后可以获得更加准确的航向角 凌启科技LQ-S01产品的量程范围在15m以内,采用双目视觉原理获取四维数据(X、Y、H及R),输出结果为纯物理值。 将IMU的姿态数据和光流及测高模块的位移数据送入飞控中,经过滤波及融合处理后,飞控通过控制算法就可以控制无人机在空中稳定悬浮。
这是Lucas-Kanade光流法特有的假定,因为光流法基本方程约束只有一个,而要求x,y方向的速度,有两个未知变量。 3)基于能量的方法 4)基于相位的方法 5)神经动力学方法 3.稠密光流与稀疏光流 除了根据原理的不同来区分光流法外,还可以根据所形成的光流场中二维矢量的疏密程度将光流法分为稠密光流与稀疏光流两种。 稠密光流 稠密光流是一种针对图像或指定的某一片区域进行逐点匹配的图像配准方法,它计算图像 上所有的点的偏移量,从而形成一个稠密的光流场。通过这个稠密的光流场,可以进行像素级别的图像配准。 Horn-Schunck算法以及基于区域匹配的大多数光流法都属于稠密光流的范畴。 由于光流矢量稠密,所以其配准后的效果也明显优于稀疏光流配准的效果。 稀疏光流 与稠密光流相反,稀疏光流并不对图像的每个像素点进行逐点计算。它通常需要指定一组点进行跟踪,这组点最好具有某种明显的特性,例如Harris角点等,那么跟踪就会相对稳定和可靠。
前两期我们讲到:光流模块的作用、飞控融合光流数据的方法,本期继续讲光流模块使用过程中需要注意的问题。 主要问题包括倾角补偿和光流数据的距离伸缩:倾角补偿主要是因为当无人机产生倾角时,光流模块也会检测到位移,这是我们不想要的,所以需要利用IMU测得的倾角将这个值给补偿掉,不然无人机会左右摇晃。 具体的倾角补偿思路如图3,无人机开始处于状态1,发生小的倾角后,处于状态2,而此时对于光流模块而言,相当于无人机平移到了状态3,所以会测得Δx位移,而此时IMU测到了倾角β,当倾角较小时,Δx=H*tan 光流数据的距离伸缩主要是因为大部分光流模块输出的数据是像素位移,需要乘以高度后才能真正的表征无人机在物理世界中的位移,而凌启科技公司开发的双目测距及光流一体模块输出的光流数据本身就是无人机在物理世界中的位移
上期讲光流模块在无人机上的作用,本期主要讲的是基于串级PID控制算法介绍如何使用光流数据。 光流数据的使用方法通常分为两种,一种是光流数据和IMU数据单独使用,以一种逐层递进的方式控制无人机悬浮,具体如下图1: 第二种是光流数据和IMU数据进行深度融合,然后再进行控制算法的运算, 具体如下图2: 在IMU、光流及测距数据都很稳定时,采用方式一无人机也可以稳定的悬浮,初学者建议采用这种方式。 对比方式一和方式二可知,其区别主要是方式二对输入到整个PID控制的最前端的数据进行了融合,不单独依赖光流数据,这样可保证最开始的目标更加稳定可靠,在控制系统中,目标值的稳定比精度更重要。
正是因为对未来的前瞻,优必选科技已达到2亿美元的估值,也即将完成2000万美元的A+轮融资,智能硬件“黑科技”正在一步步进入人们生活当中。 3、带领世界进入个人飞行时代的光启科学 ? 来自深圳的光启科学,是一只深圳“黑科技”势力的重磅力量。 光启科学曾因为“超材料”隐形衣一举成名,事情并没有结束,他们已于去年12月启用了他们的阿波罗基地,并且首次展示飞行器“云端号”,下一步将进军临近空间(海拔20公里到100公里),这个空间内,固定翼飞机和导 在今年7月底,光启科学在国内发布了价格160万元的实用型飞行包,这个酷似钢铁侠战甲装备的飞行包,正是来自于光启科学控股企业马丁飞行器公司的产品,在中国首发也标志着个人飞行时代正式来临。 同时在《Nature》和《Science》等国际一流的杂志上发表多篇论文,为中国和世界基因组科学的发展做出了突出贡献,奠定了中国基因组科学在国际上的领先地位。
、磁罗盘、气压计、GNSS模块以及光流模块等。 另一个用途是提供给无人机的自主导航系统,也就是路径和避障规划系统,所以需要感知周围环境状态,比如障碍物的位置,相关的模块包括测距模块以及物体检测、追踪模块等。 光流模块 光流模块是一个比较特殊的模块,既可以用来感知机体的运动状态,如测量水平方向的位移速度,也可以用来感知周围的环境,用作避障的用途。比较常见的光流模块是开源的PX4FLOW。 光流模块通常在室内使用,主要是为了解决室内卫星信号不佳的问题,另外对于拍摄的地面需要有一定纹理图案。 深度感知摄像头根据测量技术可以分为三种,立体摄像头,也叫双目视觉技术,代表产品就是大疆的精灵4;结构光技术,代表产品有微软的Kinect;时差测距技术(TOF),由于生产厂家较少而且成本较高,因此在无人机上的应用很少
、磁罗盘、气压计、GNSS模块以及光流模块等。 另一个用途是提供给无人机的自主导航系统,也就是路径和避障规划系统,所以需要感知周围环境状态,比如障碍物的位置,相关的模块包括测距模块以及物体检测、追踪模块等。 光流模块 光流模块是一个比较特殊的模块,既可以用来感知机体的运动状态,如测量水平方向的位移速度,也可以用来感知周围的环境,用作避障的用途。比较常见的光流模块是开源的PX4FLOW。 光流模块通常在室内使用,主要是为了解决室内卫星信号不佳的问题,另外对于拍摄的地面需要有一定纹理图案。 深度感知摄像头根据测量技术可以分为三种,立体摄像头,也叫双目视觉技术,代表产品就是大疆的精灵4;结构光技术,代表产品有微软的Kinect;时差测距技术(TOF),由于生产厂家较少而且成本较高,因此在无人机上的应用很少
、磁罗盘、气压计、GNSS模块以及光流模块等。 另一个用途是提供给无人机的自主导航系统,也就是路径和避障规划系统,所以需要感知周围环境状态,比如障碍物的位置,相关的模块包括测距模块以及物体检测、追踪模块等。 6 光流模块 光流模块是一个比较特殊的模块,既可以用来感知机体的运动状态,如测量水平方向的位移速度,也可以用来感知周围的环境,用作避障的用途。比较常见的光流模块是开源的PX4FLOW。 光流模块通常在室内使用,主要是为了解决室内卫星信号不佳的问题,另外对于拍摄的地面需要有一定纹理图案。 深度感知摄像头根据测量技术可以分为三种,立体摄像头,也叫双目视觉技术,代表产品就是大疆的精灵4;结构光技术,代表产品有微软的Kinect;时差测距技术(TOF),由于生产厂家较少而且成本较高,因此在无人机上的应用很少
、磁罗盘、气压计、GNSS模块以及光流模块等。 另一个用途是提供给无人机的自主导航系统,也就是路径和避障规划系统,所以需要感知周围环境状态,比如障碍物的位置,相关的模块包括测距模块以及物体检测、追踪模块等。 ? 光流模块 光流模块是一个比较特殊的模块,既可以用来感知机体的运动状态,如测量水平方向的位移速度,也可以用来感知周围的环境,用作避障的用途。比较常见的光流模块是开源的PX4FLOW。 光流模块通常在室内使用,主要是为了解决室内卫星信号不佳的问题,另外对于拍摄的地面需要有一定纹理图案。 深度感知摄像头根据测量技术可以分为三种,立体摄像头,也叫双目视觉技术,代表产品就是大疆的精灵4;结构光技术,代表产品有微软的Kinect;时差测距技术(TOF),由于生产厂家较少而且成本较高,因此在无人机上的应用很少
PID控制原理及应用(一)作者:凌启科技1 PID的基本概念PID控制原理图下图1,PID控制系统包括三个模块:P比例控制、I积分控制、D微分控制。 这里以无人机的姿态控制为例,如图4,假设此时无人机有一个倾角。 现在需要将无人机控制到水平状态,这里目标姿态角是T,无人机实时姿态角是M,首先还是加入P控制器,此时左边电机加速右边电机减速,无人机有一个顺时针旋转的角加速度,随着时间的累加,无人机的角速度越来越大,无人机的姿态角会不断减小 ,根据式1,P控制器的输出会不断减小,即无人机的角加速度也会不断减小,当无人机姿态角为0时,无人机水平,但由于之前一直在加速,所以此时无人机的角速度不为0,且达到最大值,无人机还会继续顺时针旋转,之后会有一个负的角加速度 凌启科技试图在理论上找到一些规律,力求降低PID整定的难度,后续研究会不断更新发布。(~~未完待续--第三章:PID控制器在无人机姿态控制过程中的数学表达式~~)
远距离测量:有效测距范围从几米到数十米,工业级产品甚至可达50米以上。 抗环境光干扰:采用调制红外光,能过滤背景光噪声,适应复杂光照环境。 紧凑集成:无需基线间距,体积小巧,易于嵌入移动设备。 功耗与发热:主动发射高强度光脉冲导致功耗较高,可能引起设备发热。 多径干扰:透明或反光物体可能导致光线多次反射,增加测距误差。 适用场景 手机后摄激光对焦、激光雷达、AR/VR、无人机避障 。 手机前置人脸识别、手势控制、3D建模、工业视觉 。 dToF的SPAD阵列工艺复杂,分辨率目前相对较低,但正在快速追赶 除了上述两种主流技术,还有一些同样重要的技术值得了解: 调频连续波 这是一种更先进的“连续波”测距技术,通过发射频率连续变化的激光,并与回光进行混合 强光下可用 移动机器人(AGV/AMR)、户外托盘识别 TOPPAN senSPure C11U hybrid ToF™ 0.5-7米工作范围,IP67防护,耐100,000 lux强光 室内外机器人、无人机避障
无论是单目和双目,其测距方法都是基于三角测距法,测距范围最大只能做到5-8m,这就决定了视觉方法不适合无人驾驶汽车,其最大的应用场景还是室内扫地机器人以及游戏设备。 作为机器人、无人机和无人驾驶领域的新宠,激光雷达是这两年才开始火起来的。 但它依然存在两个缺陷:首先,基于三角测距法的激光雷达没有摆脱测距范围短的缺陷,大多数产品都在5-6m范围内;其次,因为发射的是单点激光,再加上一般厂商的激光出点数只有4k左右,其重构三维信息的速度会比较慢 如果应用在扫地机器人上,这样的参数是绰绰有余的,目前国内的思岚科技和国外的Neato用的就是这一方案。 现在讨论它们孰优孰劣还为时过早,但可以确定的是激光雷达的成本降下来之后,必然是厂商的最佳选择,同时也会成为无人机、机器人和无人驾驶市场化的重要推手。 AI 科技评论
超声波测距相比红外测距,价格更加便宜,相应的感应速度和精度也逊色一些。 但这里注意,不管是超声波还是红外、亦或是这里的激光测距,都只是一维传感器,只能给出一个距离值,并不能完成对现实三维世界的感知。 而且,主动式测距还会产生两台机器相互干扰的问题。相比之下,虽然双目视觉也对光线有要求,但是对于反射物的要求要低很多,两台机器同时使用也不会互相干扰,普适性更强。 视觉里程计简单来说,就是「通过左右双目的图像,反推出视野中物体的三维位置」,所以相比光流+超声波技术只能简单的测出速度和高度,视觉里程计还能构建地面的三维模型,并通过连续的图像,跟踪自身与环境的相对移动 虽然视觉里程计的数据处理量是光流法的数倍不止,但正是因为它的引入,使得精灵4和精灵4Pro在无GPS的室内也能对自身位置有清晰的掌控,从而实现稳定的悬停并且不会出现掉高等现象。
关键词:Crazyflie 2.1、无人机、边云协同、物联网、SLAM、多机编队、腾讯云 IoT Explorer、MQTT、ROS一、引言Crazyflie 2.1 是一款轻量级、开源的四旋翼无人机平台 而随着云计算和边缘智能的发展,将 Crazyflie 2.1 与腾讯云进行集成,不仅可实现远程遥控、任务调度、飞行数据上云与分析,还可借助云函数与物联网平台构建完整的无人机云端智能控制系统。 Crazyflie 2.1 平台简介 主控芯片:STM32F405(168MHz Cortex-M4) 通信模块:nRF51822(BLE & 2.4GHz无线) 传感器配置:陀螺仪、加速度计、气压计,可外接光流 室内 SLAM 与自主飞行 利用 Flow Deck(光流)+ Multi-Ranger(激光测距)进行短距离建图与避障 支持与腾讯云 IoT Hub 对接,将实时定位信息通过 MQTT 上报云端 多机集群与编队飞行 结合 Crazyswarm2 ROS 框架,实现 5~20 架无人机协同控制 通过腾讯云函数(SCF)+ 消息队列 TDMQ,实现异步指令分发与调度 云端任务可由控制平台下发,支持演示
LIDWAVE 是一家2019年成立的以色列科技公司,主要产品是基于硅光单片集成的4D LiDAR。 他们采用了一种新型的激光雷达技术FCR(Finite Coherent Ranging,有限相干测距),这种技术不是通过测量光脉冲的返回时间来确定距离和速度,而是通过测量光的相干性来实现。 实时点速率出色(超远程场景下每秒数十万点),能高精度捕捉复杂场景,在数百米的范围内构建准确、详细的 3D 地图,还可为每个像素提供瞬时速度,为安全敏感场景中的实时分割作业提供关键信息层级,可以用于无人机遥测 检索一下他们的专利有对有限相干测距方法的介绍。 当前他们第一代产品(25年推出)能够实现100°×40°的FoV,0.02度的角分辨率,>300的探测距离,0.1kph的速度分辨率,帧率为5-30 fps。
2015年,无人机发展速度迅猛,国内外无人机企业开始你追我赶,不断刷新着无人机新技术。市场上的竞争说白了还是技术上的积累与比拼,那么,问题来了,今年无人机企业在技术发展上做出了哪些创新与实践呢? 主流的电动多旋翼无人机避障系统主要有三种,分别是超声波、TOF,以及相对更复杂的,由多种测距方法和视觉图像处理组成的复合型方法。 零度在7月创新者峰会上,首度演示无人机自动避障功能,采用的是无人机TOF避障系统。 大疆之后,极翼也成功推出室内视觉定位系统,是国内第二家将光流和超声波传感器应用于无人机的企业,曾在8月份的上海模型展有实物展出。 极翼将光流和超声波传感器定位技术高度集成在一个独立的模块(光流声呐模块)中,结合极翼飞控室内飞行,能让无人机实现高精度的室内定位与平稳飞行,在有效高度上甚至超出大疆精灵3约2m。
RealSense D435i+VINS-Fusion:视觉惯性方案,精度 0.1-0.3m,低纹理环境特征点提取率下降 60%360°A3 激光雷达 SLAM:采样频率 16000 次 / 秒,25m 测距半径 超声波 + 光流传感器最基础的无人机室内定位组合,代表产品为大疆 Tello EDU。 超声波测高精度 ±10cm光流速度估计误差 15%成本低于 $20,仅支持 2m 以下低速飞行RoboMaster 机甲大师 AI 视觉模块专为竞速无人机设计的场景化无人机室内定位系统。 SLAM0.1-0.3m25m 半径高(怕强光)中高隧道测绘、场馆建模毫米波射频定位≤7cm6m高(抗黑暗)中黑暗仓库、地下空间5G + 北斗融合2-8cm城市级高极高物流走廊、智慧城市超声波 + 光流 Q4:消费级定位产品能否替代工业级无人机室内定位模组?风险极高。大疆光流模块在强光地面误判率达 30%,可能导致坠机;华为海思 UWB 在金属货架环境测距误差达 47cm。
本教程使用的解决方案为: 运行在机载电脑上的DroneKit-Python代码 机载电脑选择Raspberry Pi 3B Pixhawk飞控上运行ArduCopter(APM)飞控软件 安装额外的传感器:光流 光流传感器是一个安装在无人机上、指向正下方的摄像头,使用光流算法,能够在无GPS信号的情况下,为无人机提供定位数据和地速(相对地面的速度)。 2.3 在Pixhawk飞控上安装和调试PX4Flow光流传感器 第3步 控制指令的配置、编写和测试 从这里开始,我们将针对室内飞行、光流+超声传感器组合这一特殊情况,配置飞控参数、编写和测试控制代码。 需要对飞控参数做一些修改,使得光流传感器和测距传感器获取的位置信息和高度信息能够被飞控程序正确使用。 我已经根据室内光流+超声波自动飞行的特点,完成了FlightController控制库的编写,经过真机测试,可以直接使用。
来源 | Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow 编辑 | Carol 出品 | AI科技大本营 (ID:rgznai100) 商汤科技研究团队发表论文《Every Frame Counts: Joint Learning of VideoSegmentation and Optical Flow 语义分割为光流和遮挡估计提供了更丰富的语义信息,而非遮挡的光流保证了语义分割的像素级别的时序一致性。作者提出的语义分割方案不仅可以利用视频中的所有图像帧,而且在测试阶段不增加额外的计算量。 为了解决上述两个问题,作者提出了一个光流和语义分割联合学习的框架,语义分割为光流和遮挡估计提供了更丰富的语义信息,而非遮挡得光流保证了语义分割的像素级别的时序一致性。 }应为光流估计的重点区域。
来源 | Every Frame Counts: Joint Learning of Video Segmentation and Optical Flow 编辑 | Carol 出品 | AI科技大本营 (ID:rgznai100) 商汤科技研究团队发表论文《Every Frame Counts: Joint Learning of VideoSegmentation and Optical Flow 语义分割为光流和遮挡估计提供了更丰富的语义信息,而非遮挡的光流保证了语义分割的像素级别的时序一致性。作者提出的语义分割方案不仅可以利用视频中的所有图像帧,而且在测试阶段不增加额外的计算量。 为了解决上述两个问题,作者提出了一个光流和语义分割联合学习的框架,语义分割为光流和遮挡估计提供了更丰富的语义信息,而非遮挡得光流保证了语义分割的像素级别的时序一致性。 }应为光流估计的重点区域。